Adaptive combinations of classifiers with application to on-line handwritten character recognition

Classifier combining is an effective way of improving classification performance. User adaptation is clearly another valid approach for improving performance in a user-dependent system, and even though adaptation is usually performed on the classifier level, also adaptive committees can be very effective. Adaptive committees have the distinct ability of performing adaptation without detailed knowledge of the classifiers. Adaptation can therefore be used even with classification systems that intrinsically are not suited for adaptation, whether that be due to lack of access to the workings of the classifier or simply a classification scheme not suitable for continuous learning. This thesis proposes methods for adaptive combination of classifiers in the setting of on-line handwritten character recognition. The focal part of the work introduces adaptive classifier combination schemes, of which the two most prominent ones are the Dynamically Expanding Context (DEC) committee and the Class-Confidence Critic Combining (CCCC) committee. Both have been shown to be capable of successful adaptation to the user in the task of on-line handwritten character recognition. Particularly the highly modular CCCC framework has shown impressive performance also in a doubly-adaptive setting of combining adaptive classifiers by using an adaptive committee. In support of this main topic of the thesis, some discussion on a methodology for deducing correct character labeling from user actions is presented. Proper labeling is paramount for effective adaptation, and deducing the labels from the user's actions is necessary to perform adaptation transparently to the user. In that way, the user does not need to give explicit feedback on the correctness of the recognition results. Also, an overview is presented of adaptive classification methods for single-classifier adaptation in handwritten character recognition developed at the Laboratory of Computer and Information Science of the Helsinki University of Technology, CIS-HCR. Classifiers based on the CIS-HCR system have been used in the adaptive committee experiments as both member classifiers and to provide a reference level. Finally, two distinct approaches for improving the performance of committee classifiers further are discussed. Firstly, methods for committee rejection are presented and evaluated. Secondly, measures of classifier diversity for classifier selection, based on the concept of diversity of errors, are presented and evaluated. The topic of this thesis hence covers three important aspects of pattern recognition: on-line adaptation, combining classifiers, and a practical evaluation setting of handwritten character recognition. A novel approach combining these three core ideas has been developed and is presented in the introductory text and the included publications. To reiterate, the main contributions of this thesis are: 1) introduction of novel adaptive committee classification methods, 2) introduction of novel methods for measuring classifier diversity, 3) presentation of some methods for implementing committee rejection, 4) discussion and introduction of a method for effective label deduction from on-line user actions, and as a side-product, 5) an overview of the CIS-HCR adaptive on-line handwritten character recognition system.Luokittimien yhdistäminen komitealuokittimella on tehokas keino luokitustarkkuuden parantamiseen. Laskentatehon jatkuva kasvu tekee myös useiden luokittimien yhtäaikaisesta käytöstä yhä varteenotettavamman vaihtoehdon. Järjestelmän adaptoituminen (mukautuminen) käyttäjään on toinen hyvä keino käyttäjäriippumattoman järjestelmän tarkkuuden parantantamiseksi. Vaikka adaptaatio yleensä toteutetaan luokittimen tasolla, myös adaptiiviset komitealuokittimet voivat olla hyvin tehokkaita. Adaptiiviset komiteat voivat adaptoitua ilman yksityiskohtaista tietoa jäsenluokittimista. Adaptaatiota voidaan näin käyttää myös luokittelujärjestelmissä, jotka eivät ole itsessään sopivia adaptaatioon. Adaptaatioon sopimattomuus voi johtua esimerkiksi siitä, että luokittimen totetutusta ei voida muuttaa, tai siitä, että käytetään luokittelumenetelmää, joka ei sovellu jatkuvaan oppimiseen. Tämä väitöskirja käsittelee menetelmiä luokittimien adaptiiviseen yhdistämiseen käyttäen sovelluskohteena käsinkirjoitettujen merkkien on-line-tunnistusta. Keskeisin osa työtä esittelee uusia adaptiivisia luokittimien yhdistämismenetelmiä, joista kaksi huomattavinta ovat Dynamically Expanding Context (DEC) -komitea sekä Class-Confidence Critic Combining (CCCC) -komitea. Molemmat näistä ovat osoittautuneet kykeneviksi tehokkaaseen käyttäjä-adaptaatioon käsinkirjoitettujen merkkien on-line-tunnistuksessa. Erityisesti hyvin modulaarisella CCCC järjestelmällä on saatu hyviä tuloksia myös kaksinkertaisesti adaptiivisessa asetelmassa, jossa yhdistetään adaptiivisia jäsenluokittimia adaptiivisen komitean avulla. Väitöskirjan pääteeman tukena esitetään myös malli ja käytännön esimerkki siitä, miten käyttäjän toimista merkeille voidaan päätellä oikeat luokat. Merkkien todellisen luokan onnistunut päättely on elintärkeää tehokkaalle adaptaatiolle. Jotta adaptaatio voitaisiin suorittaa käyttäjälle läpinäkyvästi, merkkien todelliset luokat on kyettävä päättelemään käyttäjän toimista. Tällä tavalla käyttäjän ei tarvitse antaa suoraa palautetta tunnistustuloksen oikeellisuudesta. Työssä esitetään myös yleiskatsaus Teknillisen korkeakoulun Informaatiotekniikan laboratoriossa kehitettyyn adaptiiviseen käsinkirjoitettujen merkkien tunnistusjärjestelmään. Tähän järjestelmään perustuvia luokittimia on käytetty adaptiivisten komitealuokittimien kokeissa sekä jäsenluokittimina että vertailutasona. Lopuksi esitellään kaksi erillistä menetelmää komitealuokittimen tarkkuuden edelleen parantamiseksi. Näistä ensimmäinen on joukko menetelmiä komitealuokittimen rejektion (hylkäyksen) toteuttamiseksi. Toinen esiteltävä menetelmä on käyttää luokittimien erilaisuuden mittoja jäsenluokittimien valintaa varten. Ehdotetut uudet erilaisuusmitat perustuvat käsitteeseen, jota kutsumme virheiden erilaisuudeksi. Väitöskirjan aihe kattaa kolme hahmontunnistuksen tärkeää osa-aluetta: online-adaptaation, luokittimien yhdistämisen ja käytännön sovellusalana käsinkirjoitettujen merkkien tunnistuksen. Näistä kolmesta lähtökohdasta on kehitetty uudenlainen synteesi, joka esitetään johdantotekstissä sekä liitteenä olevissa julkaisuissa. Tämän väitöskirjan oleellisimmat kontribuutiot ovat siten: 1) uusien adaptiivisten komitealuokittimien esittely, 2) uudenlaisten menetelmien esittely luokittimien erilaisuuden mittaamiseksi, 3) joidenkin komitearejektiomenetelmien esittely, 4) pohdinnan ja erään toteutustavan esittely syötettyjen merkkien todellisen luokan päättelemiseksi käyttäjän toimista, sekä sivutuotteena 5) kattava yleiskatsaus CIS-HCR adaptiiviseen on-line käsinkirjoitettujen merkkien tunnistusjärjestelmään.reviewe

Evaluation of educational design methodology utilizing concept mapping

One goal of educational design research is to provide guidelines for the design process. This paper reports on our on-going work on the development of such guidelines by evaluating the design procedure of a pre-service chemistry teacher education course on models and visualization. In the design of the course, the concept maps were utilized as interactive road maps for coordination and documentation of the co-operative development of the design solution. Description of the roles and collaboration between the evelopers in the design process are presented as a design narrative based on the analysis of semi-structure interviews of three course developers. The valuated design process had six phases: (i) establishing goals for the design procedure, (ii) evaluation of the initial design solutions, (iii) collaborative construction of the design solution, (iv) implementation of the design solution, (v) evaluation of the design solution, and (vi) evaluation of the design procedure. During the course, the concept map created during the co-operative construction of the design solution was used as a summary of the objectives of the course, management tool, and description of the design process. Based on the results, the presented design methodology is a promising way of utilizing concept maps in coordinating the co-operation of multiple designers in educational design-based research.Peer reviewe

Nature of chemistry in the national frame curricula for upper secondary education in Finland, Norway and Sweden

The aim of this study was to discover how current chemistry syllabi in the frame curricula for up- per secondary education in three Nordic countries (Finland, Norway, and Sweden) take into account topics related to the nature of chemistry. By qualitative content analysis, the statements related to the nature of chemistry were divided into categories. Conclusions and implications for improving the frame curricula under study were made by comparing results with research into the nature of science. Chemistry syllabi from the Nordic frame curricula analyzed take into account the aims related to the nature of chemistry in a very similar manner. The ideas that should be made more explicit in all of the analyzed curricula are: i) the limits of the chemical models and theories, ii) the relationship between chemistry and other natural sciences, iii) the importance of creativity in chemical research, iv) the concepts of evidence in science texts, v) the social nature of chemical research, and vi) chemistry as a technological practice.Peer reviewe

From Learner-Centered to Learner-Driven Sustainability Education

Learner-centered sustainability education has been advocated to be used in higher education, but the pedagogy is blurry. In the discussions, also an idea of a learner-driven approach has been promoted. The aim of this study is to study how these pedagogies have been described and suggested to be used by a group of higher education students responsible for planning a teacher education course on sustainability education. This case study uses grounded theory to analyze the higher education students’ beliefs about learner-centered and learner-driven sustainability education. The data was obtained from audio-recordings of the planning process and two semi-structured interviews of five students acting as course designers. The course designers showed to have beliefs about the nature of learner-centered/learner-driven pedagogy, freedom, meaningfulness, acting and making an influence in the learning environment, the nature and ownership of sustainable development knowledge, the diversity of the learners, and pedagogical support. The results indicate that the learner-centered and learner-driven approach are fundamentally different in terms of all of the categories. In conclusion, it is suggested that the terminology concerning learner-centered and learner-driven approaches should be more precise, and sustainability education should be developed towards a more transformative, learner-driven education.</p

Uudistuva ja uusiutuva ainedidaktiikka

Tässä etnografisessa tutkimuksessa haastateltiin kahta peruskoulun fysiikan ja kemian opettajaa sekä seurattiin heidän oppituntejaan. Heidän esimerkillinen opetuksensa oli näkynyt kansallisessa arvioinnissa sekä hyvinä oppimistuloksina että oppilaiden myönteisinä asenteina. Opettajien työtavoista löytyi sekä eroja että yhtäläisyyksiä. Molempien opetus oli pohtivaa ja tutkimuksellista. Lisäksi molemmat opettajat olivat hyvin tietoisia oman opetuksensa käytänteistä, oppituntien havainnot vastasivat haastatteluja. Opettajat korostivat oppilaiden ja opettajan hyvien suhteiden ensisijaista merkitystä sekä ylläpitivät niitä. Kumpikin opettaja oli myös löytänyt vahvuuksiensa mukaisen lähestymistavan opetukseen. Toisen opettajan tunnit olivat strukturoituja ja hän yhdisti teorian oppilaiden maailmaan monista näkökulmista. Hänellä oli taito selittää asiat selvästi ja mielenkiintoisesti. Toinen opettaja puolestaan antoi oppilaille paljon valinnanvapautta ja tuki itsenäistä työskentelyä. Opettajankoulutuksessa ja kouluissa tulisikin tukea opettajan yksilöllistä kasvua opettajana.</p

Challenges and tensions in collaborative planning of a student-led course on sustainability education

Student-led courses have been described as a promising approach to improve sustainability education. However, there is a lack of systematic studies about the benefits and challenges of such courses. This qualitative case study examines the challenges and tensions that arose in the planning of a student-led higher education course on sustainability education. The challenges were identified from the student course designers’ conversations and interviews using discourse analysis, focusing on their disagreements during planning. The identified challenges concerned sustainability and sustainability education, the course designers’ roles, and collaborative decision-making. To relate the challenges to wider discourses on these topics, five underlying tensions were recognized. These include the tension between participatory action and critical discussion approaches for sustainability education, and the tension between drive towards unanimity and agreeing to disagree in collaborative educational planning. Finally, it is discussed how, and to what degree, the challenges and tensions can and should be mitigated.</p

How to Use Historical Approach to Teach Nature of Science in Chemistry Education?

Successful implementation of historical approach to teach nature of science (NOS) requires suitable curriculum material. Several research and development projects have produced lesson plans for science teachers. 25 lesson plans from four different projects involved in creating curriculum material utilizing historical approach in chemistry education were analyzed to describe NOS content included as well as the historical experiments and narratives used. Based on the results of descriptive content analysis of existing curriculum materials, several suggestions on the successful design of lesson plans utilizing historical approach are made. To increase the coherence and clarity of learning objectives and instruction, each lesson plan should focus on the limited amount of specific NOS issues instead of several overtly general NOS aspects. To support explicit classroom discussion on the selected NOS issues, historical narratives used in the lesson plans should illustrate these issues. The lesson plans should also include instructions on how to facilitate classroom discussion, such as questions for students to discuss and reflect. Recommendations are also made concerning the appropriate use of historical experiments and narrative elements such as viewpoint characters and conflicts.Peer reviewe

Opettajan puhe esimerkillisten fysiikan ja kemian opettajien tunneilla

Tässä etnografisessa tutkimuksessa havainnoitiin ja haastateltiin kahta peruskoulun fysiikan ja kemian opettajaa, joiden opetuksen korkea taso oli näkynyt sekä oppimistuloksissa että oppilaiden myönteisissä asenteissa fysiikan ja kemian opiskelua kohtaan. Molemmat opettajat olivat löytäneet vahvuuksiensa mukaisen lähestymistavan opetukseen. Toinen opettaja tuki aktiivisesti oppilaan itsenäistä työskentelyä kun taas toisen opettajan tunnit olivat strukturoidumpia. Hänellä oli taito selittää asiat selkeästi ja mielenkiintoisesti. Tutkimuksen opettajat ohjasivat kokeellista työskentelyä eri tavoin tekemällä siitä oppilaalle merkityksellisen. Havainnoinnin perusteella opettajan puheen tehtävänä on käsitteiden muodostamisen tukeminen luomalla merkityksellisiä yhteyksiä, oppilaan ymmärryksen tarkistaminen, sekä vuorovaikutuksen rakentaminen. Näistä tehtävistä keskeisin oli vuorovaikutuksen rakentaminen, mikä näkyi keskustelunomaisena puheena oppitunneilla.Peer reviewe